Modelos de IA ignoram regras e contornam segurança

Modelos de IA ignoram regras e contornam segurança

A empresa OpenAI divulgou novos incidentes em que a Inteligência Artificial esteve fora de controlo. São seis casos em que os agentes de IA ignoraram as regras dos seus criadores e desenvolveram instruções para ocultar erros ou contornar mecanismos de segurança.

Cristina Santos - RTP / Adicionar como fonte informativa
Foto: Reuters

De acordo com o relatório publicado pela OpenAI, um dos modelos gerou instruções para que uma versão posterior de si próprio ocultasse o facto de ter feito batota e evitasse que as suas ações fossem detetadas. Um outro caso é de um modelo de IA que reescreveu as próprias instruções para poder ignorar as mensagens dos programadores.
Houve ainda uma situação em que ao não encontrar os dados necessários para elaborar um trabalho financeiro, a IA inventou dados.

A OpenIA admite ainda que um dos modelos forjou uma fonte de informação ao carregar um ficheiro na internet para o utilizar posteriormente. Outros sistemas partilharam ficheiros sem autorização ou utilizaram credenciais às quais não deveriam ter acesso.
Estes casos foram registados nos últimos seis meses, mas divulgados agora num esforço de transparência.

A empresa sublinha que estas situações são casos isolados e que este tipo de comportamento não é recorrente nos seus modelos. Ainda assim, a empresa definiu um novo protocolo de atuação para situações em que os modelos de IA não obedecem e ficam sem controlo humano.
As novas diretrizes, assegura a Open IA, vão permitir que qualquer colaborador alerte para um possível incidente para que este seja analisado pelas equipas de segurança e alinhamento.

Os casos vão ser classificados em três categorias, de acordo com a sua complexidade: os prontos para divulgação, as investigações de menor dimensão e os casos que exijam uma investigação mais alargada.

O novo protocolo da OpenAI surge numa altura em que se discute a necessidade de abrandar o desenvolvimento da Inteligência Artificial. Isto para que seja possível criar condições de salvaguarda mais eficazes.
PUB